Chùa Hương Tích gắn với sự tích về Thần Hổ và gắn với sự tích công chúa Diệu Thiện chạy trốn. Tương truyền khi xưa hổ thần linh thiêng đã che chở cho Công chúa Diệu Thiện tới núi Hồng Lĩnh dựng am, tu hành. Phật Tổ lại sai Bạch Hổ đưa nàng trốn sang đất Việt Thường thị. Đến vùng núi Ngàn Hống, Thần Hổ cõng công chúa đến con suối có tên là Hương Tuyền. Sau đó, Thần Hổ lại đưa Diệu Thiện lên động cao Đá Đôi để ẩn thân nhưng vẫn không được yên. Cuối cùng, Thần Hổ lang đưa xuống động Hương Tích và ở trong một hang đá và đó chính là Hương Tích.

Tương truyền vào thế kỷ 13 thì chùa được xây dựng. Năm 1885, chùa bị một trận hỏa hoạn lớn thiêu rụi. Năm 1901, Tổng đốc An - Tĩnh là Đào Tấn tiến hành quyên góp tiền trùng tu và xây dựng lại chùa. Năm 1936 Vua Bảo Đại cho người chạm khắc chùa Hương Tích vào Anh Đỉnh - Một trong 9 đỉnh đồng lớn đặt ở Đại Nội Huế. Năm 1990, Bộ Văn hóa - Thông tin Việt Nam đã công nhận chùa Hương Tích là di tích văn hóa - thắng cảnh cấp quốc gia. Năm 2003, chùa được trùng tu. Năm 2006, chùa được đại trùng tu.